package com.wj.taobaoke;

import java.util.ArrayList;
import java.util.List;

public class AnalysistBaiduNew {

	public List<BlogItem> analysisBlogItemsList(String url){
		List<BlogItem> blogItems = new ArrayList<BlogItem>();
		AnalysisWeb analysisWeb = new AnalysisWeb();
		String html = analysisWeb.getOneHtml(url, "gb2312", false);
		List<String> itemList = analysisWeb.getContentListFroRegex(html, "<table cellspacing=0 cellpadding=2>(.*?)</table>");
		int index = 1;
		for(String string : itemList){
			BlogItem blogItem = new BlogItem();
			String stringTitle = analysisWeb.getForRegex(string, "<td class=\"text\"(.*?)</span>");

			blogItem.contentUrl = analysisWeb.getForRegex(stringTitle, "http://(.*?)\"").replace("\"", "");
			if(blogItem.contentUrl.contains(".zdface.com") || 
					blogItem.contentUrl.contains(".self.com.cn") || 
					blogItem.contentUrl.contains(".cocoren.com") || 
					blogItem.contentUrl.contains(".citygf.com") || 
					blogItem.contentUrl.contains(".chinasspp.com") || 
					blogItem.contentUrl.contains(".qianlong.com") || 
					blogItem.contentUrl.contains(".bzxhw.com") || 
					blogItem.contentUrl.contains(".kejixun.com") || 
					blogItem.contentUrl.contains(".wzsee.com") || 
					blogItem.contentUrl.contains(".ifeng.com") || 
					blogItem.contentUrl.contains(".ef360.com") || 
					blogItem.contentUrl.contains("tech.hexun.com") || 
					blogItem.contentUrl.contains("gz.eeju.com") || 
					blogItem.contentUrl.contains(".efu.com") || 
					blogItem.contentUrl.contains(".cn3x.com.cn") || 
					blogItem.contentUrl.contains(".eeju.com") || 
					blogItem.contentUrl.contains("news.mrmhw.com") || 
					blogItem.contentUrl.contains("jrsc.china.com.cn") || 
					blogItem.contentUrl.contains("www.yangtse.com") || 
					blogItem.contentUrl.contains("finance.v1.cn") || 
					blogItem.contentUrl.contains("finance.china.com") || 
					blogItem.contentUrl.contains(".shaoxing.com.cn") || 
					blogItem.contentUrl.contains(".online.sh.cn") || 
					blogItem.contentUrl.contains(".hbqnb.com") || 
					blogItem.contentUrl.contains(".chinadaily.com.cn") || 
					blogItem.contentUrl.contains(".fdc.com.cn") || 
					blogItem.contentUrl.contains(".huanqiu.com") || 
					blogItem.contentUrl.contains(".gog.com.cn") || 
					blogItem.contentUrl.contains(".xmtcb.com") || 
					blogItem.contentUrl.contains(".i0912.com") || 
					blogItem.contentUrl.contains(".scol.com.cn") || 
					blogItem.contentUrl.contains(".xhby.net") || 
					blogItem.contentUrl.contains(".jjxw.cn") || 
					blogItem.contentUrl.contains(".zgkqw.com") || 
					blogItem.contentUrl.contains(".hdzxw.com") || 
					blogItem.contentUrl.contains("www.indunet.com.cn") || 
					blogItem.contentUrl.contains("news.hynews.net") || 
					blogItem.contentUrl.contains("www.citnews.com.cn") || 
					blogItem.contentUrl.contains(".china.com.cn") || 
					blogItem.contentUrl.contains("www.tech-food.com") || 
					blogItem.contentUrl.contains("www.foodqs.cn") ||
					blogItem.contentUrl.contains("www.wowa.cn") ||
					blogItem.contentUrl.contains("www.cqcb.com") ||
					blogItem.contentUrl.contains("365jia.cn") ||
					blogItem.contentUrl.contains(".bohelady.com") ||
					blogItem.contentUrl.contains(".eastday.com") ||
					blogItem.contentUrl.contains(".cqwb.com.cn") ||
					blogItem.contentUrl.contains(".sjfzxm.com") ||
					blogItem.contentUrl.contains("www.onlylady.com") ||
					blogItem.contentUrl.contains("www.jmnews.com.cn") ||
					blogItem.contentUrl.contains("www.meizhou.cn") ||
					blogItem.contentUrl.contains("www.boraid.com") ||
					blogItem.contentUrl.contains("news.xinhuanet.com") ||
					blogItem.contentUrl.contains(".chinanews.com.cn") ||
					blogItem.contentUrl.contains(".ca315.com.cn") ||
					blogItem.contentUrl.contains(".hebnews.cn") ||
					blogItem.contentUrl.contains(".ce.cn") ||
					blogItem.contentUrl.contains("baby.163.com") ||
					blogItem.contentUrl.contains(".enorth.com.cn") ||
					blogItem.contentUrl.contains(".zjol.com.cn") ||
					blogItem.contentUrl.contains(".022net.com") ||
					blogItem.contentUrl.contains(".v1.cn") ||
					blogItem.contentUrl.contains("www.zgjrw.com") ||
					blogItem.contentUrl.contains(".hsw.cn") ||
					blogItem.contentUrl.contains(".yoka.com") ||
					blogItem.contentUrl.contains(".bandao.cn") ||
					blogItem.contentUrl.contains(".jfdaily.com") ||
					blogItem.contentUrl.contains(".tom.com") ||
					blogItem.contentUrl.contains(".newoo.com") ||
					blogItem.contentUrl.contains(".tianjindaily.com.cn") ||
					blogItem.contentUrl.contains(".pclady.com.cn") ||
					blogItem.contentUrl.contains(".haibao.cn") ||
					blogItem.contentUrl.contains(".27.cn") ||
					blogItem.contentUrl.contains(".fumin.com") ||
					blogItem.contentUrl.contains(".rayli.com.cn") ||
					blogItem.contentUrl.contains(".cnhan.com") ||
					blogItem.contentUrl.contains(".sdnews.com.cn") ||
					blogItem.contentUrl.contains(".anhuinews.com") ||
					blogItem.contentUrl.contains(".jschina.com.cn") ||
					blogItem.contentUrl.contains(".ynet.com") ||
					blogItem.contentUrl.contains(".iqilu.com") ||
					blogItem.contentUrl.contains(".39.net") ||
					blogItem.contentUrl.contains(".cnr.cn") ||
					blogItem.contentUrl.contains(".pharmacy.hc360.com") ||
					blogItem.contentUrl.contains(".fawan.com") ||
					blogItem.contentUrl.contains(".qbaobei.com") ||
					blogItem.contentUrl.contains(".jiaju.sina.com.cn") ||
					blogItem.contentUrl.contains(".lady8844.com") ||
					blogItem.contentUrl.contains(".netsun.com") ||
					blogItem.contentUrl.contains("tech.qq.com") ||
					blogItem.contentUrl.contains("finance.sina.com.cn") ||
					blogItem.contentUrl.contains(".cnforex.com") ||
					blogItem.contentUrl.contains(".caixun.com") ||
					blogItem.contentUrl.contains("ccvic.com") ||
					blogItem.contentUrl.contains("esf.sh.soufun.com") ||
					blogItem.contentUrl.contains(".weamax.com") ||
					blogItem.contentUrl.contains(".cnfol.com") ||
					blogItem.contentUrl.contains(".cfi.net.cn") ||
					blogItem.contentUrl.contains(".youku.com")){
				continue;
			}
			blogItem.title = analysisWeb.getForRegex(stringTitle, "<span>(.*?)</span>").
			replaceFirst("<span>", "").replaceFirst("</span>", "");
			blogItem.hiddenTitle = blogItem.title.replaceAll("<(.*?)>", "");
			if(blogItem.hiddenTitle.contains("视频")){
				continue;
			}
			blogItem.content = analysisWeb.getForRegex(string, "<font size=-1>(.*?)<a").replace("<a", "");
			blogItem.createTime = analysisWeb.getForRegex(string, "<nobr>(.*?)</nobr>").
					replaceFirst("<nobr>", "").replaceFirst("</nobr>", "");
			
			blogItem.index = index++;
			blogItems.add(blogItem);
			if(index >= 21){
				break;
			}
		}
		return blogItems;
	}
	
	public static void main(String[] args) {
		AnalysistBaiduNew analysistBaiduNew = new AnalysistBaiduNew();
		List<BlogItem> blogItems = analysistBaiduNew.analysisBlogItemsList("http://news.baidu.com/ns?word=redis+%C7%E5%BF%E2&tn=news&from=news&cl=2&rn=20&ct=1");
		for (BlogItem blogItem : blogItems) {
			System.out.println(blogItem.title);
			System.out.println(blogItem.hiddenTitle);
			System.out.println(blogItem.createTime);
			System.out.println(blogItem.contentUrl);
			System.out.println(blogItem.content);
		}
	}
}
